在肉牛的库存中，基于计算机视觉的方法已被广泛用于监测牛状况（例如，物理，生理学和健康）。为此，准确有效的牛行动是一种先决条件。通常，大多数现有模型仅限于个人行为，这些行为使用基于视频的方法提取时空特征来识别每只牛的个体作用。但是，牛之间存在社会性，它们的相互作用通常反映了重要条件，例如Estrus以及基于视频的方法忽略了模型的实时功能。基于这一点，我们解决了本文中单个框架中牛之间的实时识别的具有挑战性的任务。我们方法的管道包括两个主要模块：牛本地化网络和交互识别网络。在每时每刻，牛本地化网络都会从每个检测到的牛输出高质量的互动建议，并将其输入具有三流体系结构的交互识别网络。这样的三流网络使我们能够融合与识别交互有关的不同功能。具体而言，这三种功能是一个视觉特征，它提取了互动建议的外观表示，这是反映牛之间空间关系的几何特征，以及一种语义特征，它捕获了我们对个人动作和相互作用之间关系的先验知识牛。此外，为了解决数量不足的标记数据问题，我们基于自我监督学习的模型预先培训。定性和定量评估证明了我们框架作为实时识别牛相互作用的有效方法的性能。
translated by 谷歌翻译